# -*- coding: utf-8 -*-

BOT_NAME = 'weibo'
SPIDER_MODULES = ['weibo.spiders']
NEWSPIDER_MODULE = 'weibo.spiders'
COOKIES_ENABLED = False
TELNETCONSOLE_ENABLED = False
LOG_LEVEL = 'ERROR'
# 访问完一个页面再访问下一个时需要等待的时间，默认为10秒
DOWNLOAD_DELAY = 2
DEFAULT_REQUEST_HEADERS = {
    'Accept':
    'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7',
    'cookie': 'SCF=Ang1PsM9AoPOH6r2JMfsf_cG-DF5ce8cSUt-u4AhK1i5wQRp7tw8QyalBIidf_baiVUx4v-heMf80G-h4cl7hGc.; '
              'UOR=www.baidu.com,weibo.com,www.baidu.com; SINAGLOBAL=6060355668604.674.1709552585531; '
              'XSRF-TOKEN=uCLI3Tk_ivtQ_fDeY4XJO4vn; PC_TOKEN=ad3dca5ec7; '
              'login_sid_t=09f7d91860d66dcdcab3ad828aab6233; cross_origin_proto=SSL; WBStorage=267ec170|undefined; '
              '_s_tentry=-; Apache=83995416395.35046.1715139103403; '
              'ULV=1715139103409:5:1:1:83995416395.35046.1715139103403:1711421204088; '
              'WBtopGlobal_register_version=2024050811; ALF=1717731171; '
              'SUB=_2A25LPoIzDeRhGeNI7FEQ-CbIyD2IHXVoNZv7rDV8PUJbkNB-LWeskW1NSCMrRmzODeSGO6pgDIRp-UKrfx8u5aaC; '
              'SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WWSJ_7WUJKD_-HWMMWH1YY_5JpX5KzhUgL.Fo'
              '-cS0ep1hnXe022dJLoIEBLxKqL1KnL1-qLxK-L1h-L1h.LxK-LB.-LB--LxKqLB-BLBK-t; '
              'WBPSESS=DZfzo8PBycpQXciQLyzIdlhjpu3GSrUjHdDzGdeTxn6_FTe0MIZZN5H_tmED0x6_DyEheg9EuSsRBmW52A16ei1fd8lcFQDc1p3LI_DsxBzG-Q5fdf7BZOJO_t5Q4OW-UqMdVyPGgnJ-Rph9oe0shA=='
}
ITEM_PIPELINES = {
    'weibo.pipelines.DuplicatesPipeline': 300,
    'weibo.pipelines.CsvPipeline': 301,
    # 'weibo.pipelines.MysqlPipeline': 302,
    # 'weibo.pipelines.MongoPipeline': 303,
    # 'weibo.pipelines.MyImagesPipeline': 304,
    # 'weibo.pipelines.MyVideoPipeline': 305
}
# 要搜索的关键词列表，可写多个, 值可以是由关键词或话题组成的列表，也可以是包含关键词的txt文件路径，
# 如'keyword_list.txt'，txt文件中每个关键词占一行
KEYWORD_LIST = ['华为P70']
WEIBO_TYPE = 1
# 筛选结果微博中必需包含的内容，0代表不筛选，获取全部微博，1代表搜索包含图片的微博，2代表包含视频的微博，3代表包含音乐的微博，4代表包含短链接的微博
CONTAIN_TYPE = 0
# 筛选微博的发布地区，精确到省或直辖市，值不应包含“省”或“市”等字，如想筛选北京市的微博请用“北京”而不是“北京市”，想要筛选安徽省的微博请用“安徽”而不是“安徽省”，可以写多个地区，
# 具体支持的地名见region.py文件，注意只支持省或直辖市的名字，省下面的市名及直辖市下面的区县名不支持，不筛选请用“全部”
REGION = ['全部']
# 搜索的起始日期，为yyyy-mm-dd形式，搜索结果包含该日期
START_DATE = '2024-3-20'
END_DATE = '2024-3-24'
# 建议数值大小设置在40到50之间。
FURTHER_THRESHOLD = 46
# 图片文件存储路径
IMAGES_STORE = './'
# 视频文件存储路径
FILES_STORE = './'
# 配置MongoDB数据库
# MONGO_URI = 'localhost'
# 配置MySQL数据库，以下为默认配置，可以根据实际情况更改，程序会自动生成一个名为weibo的数据库，如果想换其它名字请更改MYSQL_DATABASE值
# MYSQL_HOST = 'localhost'
# MYSQL_PORT = 3306
# MYSQL_USER = 'root'
# MYSQL_PASSWORD = '123456'
# MYSQL_DATABASE = 'weibo'